С бурным развитием интернета, количество web-страниц в сети давно уже перевалило за миллиарды. Для удобства простых пользователей, которым очень легко заблудится в таком море информации были придуманны и созданны поисковые системы. Далее для краткости просто - поисковики.
На самом деле поисковики действительно можно назвать целыми системами, состоящими из набора различных инструментов и программ. Об основных поисковиках русскоязычного интернета, и о их принципах работы пойдёт речь в этой статье.
Из чего состоят поисковики?
Поисковики состоят из следующих основных компонентов:
- Spider (паук) - специальная программа которая похожа на браузер и занимается скачиванием в базу данных поисковика найденные краулером новые сайты и странички в интернете. Так как Spider - это по своей сути поисковый робот, то естественно он "видит" только HTML код страници. Без графики, баннеров, скриптов и т.п.
Поэтому на поисковую оптимизацию большое количество скриптов, анимации не только не влияет, но даже в некоторых случаях ухудшает её. Например, меню сайта написанное только при помощи скриптов, для поискового робота просто не сушествует, и он не найдёт другие страници вашего сайта если меню не будет продублированно обычными ссылками. К тому же поисковики будут дольше индекстровать ваш сайт, если HTML код его страниц заграмождён различными скриптами.
- Crawler («путешествующий» паук) - специальная программа, которая в автоматическом режиме осуществляет поиск новых сайтов и страниц в интернете. Основная его задача, обнаружение еще неизвестных поисковой системе документов в интернете.
Crawler использует для этого уже известные сайты и переходя по имеющимся на них ссылкам. Поэтому если вы сделали свой сайт, то пока на него не существует ссылок с других источников, ваш новый сайт будет невидим для поисковиков.
Некоторые поисковики используют вместо Spider и Crawler одну программу, которая сразу и находит и скачивает информацию.
- Indexer (индексатор) - эта программа анализирует скачанные страници на предмет их соответствия различным поисковым запросам. Полный алгоритм работы этой программы не знает ни кто. К тому же он периодически может менятся. Но общий принцип работы у всех поисковиков примерно одинаковый.
- Database (база данных) - в базе хранятся все найденные и скачанные поисковыми роботами страници сайтов. Некоторые поисковики используют общую базу данных.
- Web server (сам сайт поисковика) - то, что мы все наблюдаем в окошке своего браузера, когда вводим поисковый запрос в строку поиска. Отвечает за выдачу результатов поиска.
Как работают поисковики?
Поиск нужной информации в поисковиках происходит по ключевому слову, или словосочетанию, которые больше всего соответствуют той теме, информацию по которой необходимо найти. Именно эти слова или словосочетания вбиваются пользователями интернета в строку поиска.
Для этой цели, системы поиска (поисковики) применяют набор различных программ, выполняющих такие функции как:
- поиск сайтов;
- их классификация по соответствию тому или иному запросу;
- ранжирование сайтов по их качеству;
... и многое другое.
Разные поисковики могут использовать различный алгоритм действия этих программ и по разному распределять их функции. Но принцип действия у них у всех примерно одинаковый.Весь процесс работы поисковика, сбора обработки и выдачи информации примерно выглядит так:
Поисковый робот (паук) "бродит" по виртуальному пространству отыскивая по ссылкам новые сайты и новые страници старых сайтов, и заносит их адреса в базу данных. Потом другой робот скачивает всё текстовое содержание этих страниц, и то же отправляет их в базу. Как я уже писал некоторые поисковики для этой цели используют одну программу, которая и находит и скачивает новую информацию.
В базе страници хранятся и ждут когда их проиндексирует другая программа. После чего составляются каталоги с адресами и кратким описанием этих страниц. Уже оттуда поисковики выдают адреса страниц в порядке степени их соответствия каждому поисковому запросу пользователя.
Время за которое поисковики успевают найти новый сайт, проанализировать его и начать выдавать по поисковым запросам, примерно составляет от нескольких недель до нескольких месяцев.
Конечно же описанная здесь мною схема работы поисковиков примерная и очень упрощённая. На самом деле всё намного сложнее. Одни роботы (пауки) ищут только абсолютно новые страници, другие только проверяют уже проиндексированные страници на предмет изменений в них и т.д.
Особо углублятся не вижу смысла потому что каждые поисковики работают немного по разному. Например, недавно я нашел в интернете информацию о том что поисковик Google вновь созданные сайты, в течении примерно полугода хранит в специальной базе и начинает выдавать их в результаты поиска, только по истечении этого срока, который точно даже ни кто и не знает. Это правило правда распостраняется только на англоязычные сайты. Русскоязычные сайты Googleиндексирует быстрее всех.
Вообще создатели и разработчики поисковых программ и систем хранят алгоритм их работы и критерии отбора сайта в тайне, и периодически меняют их Узнать эти критерии можно только примерно и только косвенным путём, методом тестимрования сайтов.
Основные поисковики рунета.
Ниже перечислю в порядке убывания основные поисковики русскоязычного интернета, и сделаю их краткое описание.
Поисковик Яндекс. (Yandex)
Поисковик Яндекс (Yandex) - прочно занимает в русскоязычном секторе интернета лидирующее первое место. В разных источниках указывается немного по разному, но в среднем около 50-60% пользователей русскоязычного интернета предпочитают пользоватся услугами Яндекс.
Поисковик Гугл. (Google)
Поисковик Гугл (Google) - является лидером в зарубежном интернете но в русскоязычном секторе занимает второе, после Яндекса место. Примерно 20-25% пользователей в рунете прибегают к услугам поисковой системы Гугл (Google). Отличается тем, что быстрее всех поисковиков индексирует созданные сайты, и уже примерно через пару недель после создания сайта его можно наблюдать в списке выдачи по поисковым запросам. При условии конечно же, достаточного качества вновь созданного сайта.
Поисковик Рамблер. (Pambler)
Поисковик Рамблер (Pambler) - занимает третье место, хотя некоторые источники отдают ему второе. Однако большинство источников информации сходятся на том, что 10-15% пользователей используют для поиска эту систему. Рамблер выделяется совершенно отличным от других поисковиков алгоритмом индексации и ранжирования страниц и сайтов в интернете.
Соответственно, страница попавшая в первую десятку по какому либо поисковому запросу на Рамблере, может в других поисковиках по этому же запросу не попасть и в первую тридцатку, и наоборот. Из этого так же следует, что при поиске необходимой вам информации Рамблер может вам выдать совершенно отличный от других поисковиков список сайтов по одинаковому запросу. Что в принципе для разнообразия неплохо.
Перечисленные выше поисковики являются основными в русскоязычном интернете. Все остальные: Yahoo, Aport, Mail.ru, KM.ru и другие, делят между собой оставшиеся примерно 10% пользователей.
Среди них можно выделить Mail.ru - набирающая популярность поисковая система. Говорят что этот поисковик использует алгоритм работы Google. Может быть по этой причине Mail.ru, то же очень быстро индексирует сайты.